Phạm Xuân Hùng sinh ngày 10 tháng 12 năm 1952 tại xã Xuân Ninh, huyện Xuân Trường, tỉnh Nam Định. Ông nhập ngũ vào tháng 12 năm 1969 và đúng 2 năm sau thì được kết nạp vào Đảng Cộng sản Việt Nam. Ông từng học tại Học viện Quân sự Zrinhimikos Hungary và từng trải qua các chức vụ như Trung đoàn phó Trung đoàn 64, Trung đoàn phó Trung đoàn 48 thuộc Sư đoàn 320. Năm 1990, khi còn mang quân hàm Trung tá, ông là Sư đoàn trưởng Sư đoàn 320.[5] Không lâu sau đó, ông được thăng hàm Thượng tá; và đến năm 1995 thì được thăng quân hàm Đại tá.[6][7] Năm 1996, ông bảo vệ thành công luận văn Tiến sĩ ngành Khoa học Quân sự tại Học viện Quốc phòng với đề tài "Nghệ thuật mở đầu chiến dịch tiến công trong chiến tranh bảo vệ Tổ quốc".[8] Tháng 12 năm 1997, trong nhiệm kỳ Tư lệnh của Trung tướng Nguyễn Hữu Hạ, ông được thăng làm Phó Tư lệnh kiêm Tham mưu trưởng Quân đoàn 3.[9]

Năm 2002, ông bổ nhiệm giữ chức Tư lệnh Quân đoàn 3 và được thăng quân hàm Thiếu tướng.[10] Đến tháng 2 năm 2004, ông được bổ nhiệm làm Tư lệnh Quân khu 3.[11][12] Tháng 9 năm 2005, ông được điều làm Phó Giám đốc thường trực Học viện Quốc phòng.[13][14] Năm 2006, ông được thăng hàm Trung tướng và chính thức trúng cử vào Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa X.[15][16] Ông được thăng làm Giám đốc Học viện Quốc phòng vào năm 2007,[17][18] và được bổ nhiệm giữ chức Phó Tổng Tham mưu trưởng vào năm 2008.[19][20][21] Năm 2010, ông là Ủy viên Hội đồng xét tặng danh hiệu Nhà giáo nhân dân, Nhà giáo ưu tú cấp Nhà nước lần thứ 11.[22] Năm 2011, ông tiếp tục trúng cử vào Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa XI.[23][24] Ông được thăng quân hàm Thượng tướng vào năm 2014,[25][26] và đến năm 2016, thì ông nghỉ chờ hưu.